ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B引入了如下特性：1.更强大的基础模型： ChatGLM3-6B的基础模型ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。2.更完整的功能支持： ChatGLM3-6B采用了全新设计的

1环境安装1.1mac安装conda.下载miniconda，并安装curl-Ohttps://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.shshMiniconda3-latest-MacOSX-arm64.sh1.2创建虚拟环境并激活创建名为chatglm3的虚拟环境，python版本为3.10.2激活环境（后续要在这个环境安装pytorch及依赖包）condacreate-nchatglm3python==3.10.2condaactivatechatglm31.3安装pytorch-nightlycondains

一、环境配置1.安装homebrew    1）HomebrewcomplementsmacOS.（Homebrew使macOS更完整。）Homebrew是macOS的套件管理工具，是高效下载软件的一种方法，相当于Linux下的 yum、apt-get 神器，用于下载存在依赖关系的软件包。通俗地说，Homebrew是类似于MacAppStore的一个软件商店。    2）打开终端Terminal，运行/bin/zsh-c"$(curl-fsSLhttps://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"   3）选择下载源4）下载同意

WebLangChain_ChatGLM介绍本文将详细介绍基于网络检索信息的检索增强生成系统，即WebLangChain。通过整合LangChain，成功将大型语言模型与最受欢迎的外部知识库之一——互联网紧密结合。鉴于中文社区中大型语言模型的蓬勃发展，有许多可供利用的开源大语言模型。ChatGLM、Baichuan、Qwen等大语言模型针对中文交互场景进行了优化，以提升其对中文理解和问答的能力。所以我们还将介绍如何在检索增强生成应用中集成中文社区广泛使用的开源模型ChatGLM3。这一步骤的实施将进一步拓展系统的适用性和性能，使其更好地服务于中文用户。本文配套的代码仓库：https://git

文章目录前言1、设计指标2、PCB设计3、程序设计4、调试4.1蓝牙控制AUX解码板4.2自定义车机按钮控制其他高品质蓝牙音频模块4.3小程序使用5、模块与车机连接方法6、结语前言​之前写过四篇关于车机增加音频输入的方法。1、07宝来经典车机CD收音机（RC668）改装增加蓝牙播放音乐2、全网首发！老大众奥迪碟盒通信协议破解，可以模拟数码碟盒，外接AUX蓝牙U盘等音频设备3、全网首发！大众奥迪DIY数码碟盒增加USB和蓝牙播放音乐功能使用原车接口无损改装4、全网首发，克莱斯勒大捷龙jeep道奇DIY数码碟盒增加USB和蓝牙播放音乐功能使用原车接口无损改装​汽车使用寿命很长，而电子设备老化的速度

ubuntu部署ChatGLM-6B完整流程模型量化Nvidia初环境与设备环境准备克隆模型代码部署ChatGLM-6B完整代码ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答本篇

论文传送门：[1]GLM:GeneralLanguageModelPretrainingwithAutoregressiveBlankInfilling[2]Glm-130b:Anopenbilingualpre-trainedmodelGithub链接：THUDM/ChatGLM-6B目录笔记AbstractIntroductionThedesignchoicesofGLM-130BThetrainingstabilityofGLM-130B框架总结1.模型架构2.预训练设置3.训练稳定性4.并行策略和模型配置5.量化和推理优化6.结果分析7.相关工作8.结论和经验教训9.伦理评估10.可复

ImageBind-LLM:Multi-modalityInstructionTuning论文阅读笔记Method方法BindNetworkRMSNorm的原理及与LayerNorm的对比RelatedWord/PriorWorkLLaMA-Adapter联系我们本文主要基于LLaMA和ImageBind工作，结合多模态信息和文本指令来实现一系列任务。训练中仅使用图像文本信息作为多模态信息提取能力的训练数据（onlyleveragethevision-languagedataformulti-modalityinstructiontuning）。Github代码link.Method方法对于一

论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/P-Tuningv2摘录自第三部分桔色块指代可训练的promptembedding；蓝色块是由固定(冻结)的预训练语言模型存储或计算的embedding。DeepPromptTuningcontinuousprompts(连续提示)仅仅能够插入到inputembedding序列层。如此，有两个问题：首先由于序列长度的约束限制，可调参数的数量有限。其次，输入的embedding对模型预测有间接的影响。为了解决这些问题

论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/P-Tuningv2摘录自第三部分桔色块指代可训练的promptembedding；蓝色块是由固定(冻结)的预训练语言模型存储或计算的embedding。DeepPromptTuningcontinuousprompts(连续提示)仅仅能够插入到inputembedding序列层。如此，有两个问题：首先由于序列长度的约束限制，可调参数的数量有限。其次，输入的embedding对模型预测有间接的影响。为了解决这些问题